DATAREON Platform

Основные статьи:

• Управление данными (Data management)
• Управление качеством данных
• ESB - Enterprise Service Bus

DATAREON Platform является масштабируемой и отказоустойчивой low-code платформой для управления корпоративными данными и интеграционными потоками. Система предназначена для построения информационных ландшафтов распределенных приложений.

2023

Функциональные возможности и особенности Datareon Platform

Внедрение платформы DATAREON позволяет решить большое количество различных бизнес-задач:

• Управление мастер-данными (MDM, НСИ);
• Построение корпоративных хранилищ данных (EDW);
• Интеграция приложений (ESB, MQ);
• Обработка и управление качеством данных (ETL, DQ);
• И многое другое.

Только комплексный подход к управлению корпоративными данными и интеграционными потоками, реализованный в платформе DATAREON, позволит добиться функционирования всех компонент информационной инфраструктуры как единого целого.

Платформа DATAREON построена на импортонезависимом технологическом стеке и входит в реестр российского ПО^[1]. Платформа DATAREON является кроссплатформенным приложением, построенным на технологической платформе .NetСore без использования каких-либо сторонних компонент.

Разработка первой версии DATAREON Platform выполнена при поддержке Фонда содействия инновациям.

Платформа DATAREON реализует следующие функциональные механизмы:

Развитие интеграционной платформы DATAREON PLATFORM выполняется при поддержке Российского фонда развития информационных технологий (РФРИТ), выступающего оператором мер поддержки проектов по внедрению отечественных продуктов, сервисов и платформенных решений, созданных на базе сквозных цифровых технологий.

В результате использования платформы DATAREON компания получает:

• повышение достоверности данных – на 30%;
• повышение прозрачности и ускорение бизнес-процессов – на 20%;
• улучшение качества функционирования информационной инфраструктуры в целом – на 40%;
• снижение затрат на техническую поддержку и обслуживание информационных систем – на 20%;
• повышение удовлетворенности клиентов по электронному взаимодействию с компанией – на 80%.

Функциональные возможности Datareon Platform

Транспорт сообщений

Использование платформы DATAREON позволяет выйти на новый уровень интеграции и получить высокую скорость обмена информацией. В отличие от традиционных схем интеграции, когда производится накопление информации, платформа DATAREON позволяет построить интеграцию на базе событийной модели с передачей небольших информационных пакетов, принятой в продуктах класса сервисной шины предприятия (ESB) или брокера очередей сообщений (MQ). Такой подход резко снижает требования к пропускной способности каналов связи, повышает скорость доставки и последующей обработки информации.

Использование событийной модели позволяет строить взаимодействия между приложениями с высокой доступностью и оперативной реакцией внутри распределенных бизнес-процессов. При этом платформа DATAREON позволяет централизовать разработку и управление потоками данных в рамках различных процессов, предоставляет единую точку администрирования потоков данных. Платформа DATAREON позволяет организовывать транспортные потоки по событию, по запросу и по расписанию.

Кроме этого приходится сталкиваться с ситуацией, когда различные типы приложений рассчитаны на различные стандарты и схемы интеграции. Также не редка ситуация, когда изменение интеграционных механизмов существующих приложений невозможно или очень трудозатратно по ряду причин: отсутствие разработчика, отсутствие исходного кода и т.д. Платформа DATAREON позволяет объединять такие приложения в единое целое, скрывая различия в интеграции на уровне механизмов и настроек типовых коннекторов. Это позволяет привести взаимодействие приложений к единой управляемой схеме без участия разработчика.

В платформе DATAREON существуют следующие типы коннекторов: SOAP-сервисов, REST-сервисов, 1С:Предприятие 8, PostgreSQL, MS SQL, IBM DB2, Oracle, SharePoint, OData, TCP, Siemens TeamCenter, SAP и другие.

Типы коннекторов могут быть дополнены за счет создания пользовательских расширений. Таким образом может быть реализован любой пользовательский сценарий подключения к системам-источникам.

Для обеспечения безопасности данных в платформе DATAREON поддерживается шифрование передаваемых данных с помощью общепринятых алгоритмов шифрования. Также поддерживается установка безопасного сетевого соединения по протоколу SSL или TLS.

Управление архитектурой данных

Данные в крупной компании – это не просто единица информации, это совокупный результат работы бизнес-логики целого набора информационных систем.

Платформа DATAREON позволяет создавать бизнес-ориентированные модели данных. Для их создания не требуется технических знаний структуры таблиц или СУБД. Данные описываются так, как это принято в предметной области. Архитектор данных может описывать данные, не привязываясь к плоской структуре таблиц, принятых в СУБД. Это могут быть иерархии, связи, структуры данных с массивами и составные структуры данных.

Платформа DATAREON самостоятельно преобразует бизнес-ориентированную модель данных к модели данных СУБД. Поддерживается одновременное хранение данных в различных СУБД. Также поддерживается миграция с одной СУБД на другую.

В платформе DATAREON поддерживается изменение модели данных «на лету» без остановки системы.

Обработка, хранение и передача данных

Платформа DATAREON дает возможность разработать различные сценарии работы с данными, начиная от полностью автоматических, заканчивая сценариями, в которые вовлекаются сотрудники (дата-стюарды, эксперты по НСИ и т.п.). Процессы обработки данных могут выполняться последовательно, параллельно, синхронно, асинхронно, с дозапросом данных из внешних источников и другие сценарии. Процессы обработки, хранения и передачи данных описываются в платформе без участия системного программиста с помощью графических схем.

Платформа DATAREON имеет в своем составе инструменты, позволяющие эффективно трансформировать данные в различные форматы с различными алгоритмами преобразования данных. Самые «ходовые» форматы – XML, JSON, DBF, CSV, Base64 – представлены в виде «мастеров» настройки.

В платформе DATAREON используется язык запросов на уровне бизнес-модели. Это дает возможность быстро и легко разрабатывать процессы обработки, не погружаясь в технические детали.

За счет распределенной архитектуры хранения платформа DATAREON позволяет быстро оперировать большими объемами данных.

В платформе DATAREON присутствует механизм нечеткого поиска, который настраивается для конкретной модели данных. Нечеткий поиск может использоваться для таких критичных к скорости операций, как дедупликация. Для реализации нечеткого поиска в платформе созданы отдельные механизмы, значительно повышающие скорость его работы.

Онтологическая классификация

Онтологическая классификация и анализ используются при обработке больших объемов мастер-данных, существенно ускоряя выполнение рутинных ручных операций. В процессе обработки первоначальная информация автоматически «разбирается» и структурируется в соответствии с созданными правилами. Одновременно выполняется множественная классификация элемента.

Ключевым преимуществом является способность к самообучению: правила разбора, структурирования и классификации данных создаются и корректируются им самим в процессе работы. Таким образом, при обработке каждой следующей позиции справочника модуль онтологической классификации и анализа предлагает более качественный результат, сокращая тем самым трудозатраты специалиста, выполняющего обработку. При некоторых условиях выполнять обработку можно полностью автоматически.

Отказоустойчивость и балансировка нагрузки

Платформа DATAREON автоматически отслеживает состояние работы всех своих сервисов, управляет их загрузкой и размещением. Построение отказоустойчивого кластера выполняется автоматически без участия администратора, это позволяет снизить требования к квалификации персонала, однако есть возможность более глубокой ручной настройки.

Платформа DATAREON отслеживает отказ аппаратного комплекса и выполняет перестроение размещения сервисов на лету без участия администратора. При этом это перестроение не приводит к потере функционирования всей системы.

Для построения отказоустойчивого кластера не требуется какого-либо дополнительного стороннего ПО.

Масштабирование системы производится автоматически по факту включения в систему нового узла. Система автоматически произведет анализ загруженности и переместит на этот узел необходимые сервисы. Также имеется возможность более тонкой ручной настройки размещения сервисов.

Архитектура платформы DATAREON позволяет функционировать всей системе в режиме 24/7 без использования технологических окон.

Безопасность и ролевая модель

Ответственность за работоспособность различных компонент может разделяться между пользователями. Разграничение прав доступа выполняется посредством ролевой модели. Уровень доступа пользователей может быть настроен в разрезе каждого объекта платформы DATAREON. Это позволяет разделять группы пользователей по зонам ответственности и ограничивать доступ к объектам платформы DATAREON согласно полномочиям.

Мониторинг и проактивная диагностика

Платформа DATAREON обладает широкими возможностями по диагностике и мониторингу состояния как всех узлов платформы в целом, так и каждого компонента платформы в отдельности.

В Центре мониторинга представлена полная схема компонентов платформы DATAREON, их взаимосвязи, текущий статус и детальная информация по каждому компоненту, включающая в себя состояние точек подключения, статистику и состояние очередей передачи данных, журнал трассировки информационных пакетов, журнал работы узла. Центр мониторинга сигнализирует не только об ошибках, но и о потенциальных проблемах в схеме сети до появления самих ошибок, а также дает рекомендации по их устранению.

Платформа DATAREON выступает единым источником сведений о работе всего информационного ландшафта, а также может сигнализировать о состоянии внешних систем, участвующих во взаимодействии с платформой.

Взаимодействие с продуктами на платформе «1С:Предприятие 8»

Особое внимание платформа DATAREON уделяет взаимодействию с программными продуктами, реализованными на платформе «1С:Предприятие 8». Реализованные механизмы платформы DATAREON позволяют полностью разгрузить решения на платформе «1С» от интеграционных задач.

В поставку включена специальная подсистема, которая встраивается в любую систему на платформе «1С:Предприятие 8» без необходимости снятия ее с поддержки и не требуется доработки и адаптации. Подсистема обеспечивает все необходимые механизмы для интеграции этих систем с платформой DATAREON.

Правила обработки данных для конфигураций 1С создаются и хранятся централизованно в платформе DATAREON. Создание, распространение и обновление обработчиков в системах 1С также выполняется централизованно в автоматическом режиме без необходимости модификации самой конечной системы непосредственно из центра управления платформы DATAREON. Отсутствие необходимости модификации конечной системы при изменении интеграционной модели является особенно важным, если таких систем много или если предъявляются высокие требования к времени доступности системы, которые значительно ограничивают время, когда изменения могут быть внесены.

В платформе DATAREON реализованы механизмы отладки обработчиков 1С без использования конфигуратора 1С. Отладка кода 1С выполняется непосредственно из центра управления DATAREON. Этот механизм позволяет проверить, каким образом будут выгружены или загружены данные в 1С без их сохранения в 1С и без прямого доступа к системе.

Интерфейсы подключений к системам (API)

Платформа DATAREON предоставляет адаптивные интерфейсы для подключения к системам-источникам и системам-потребителям информации. К наиболее распространенным API можно отнести WEB API (SOAP/REST). Платформа DATAREON предоставляет готовые WEB API и инструменты для настройки и кастомизации API с разработкой спецификации методов и их параметров. Набор API не ограничен предопределенными вариантами, входящими в комплект поставки, и может быть расширен потребителем самостоятельно с использованием языка программирования C#.

Управление мастер-данными (MDM)

Функциональные возможности управления мастер-данными (MDM) на платформе DATAREON

Управление мастер-данными (Master Data Management), также известно как Управление нормативно-справочной информацией (НСИ), является одним из основных сценариев применения платформы DATAREON. Платформа DATAREON обладает всеми необходимыми инструментами для построения универсального механизма управления мастер-данными.

Платформа DATAREON позволяет управлять мастер-данными на всем протяжении жизненного цикла: от момента их определения до момента прекращения их использования.

• Создание модели данных. Платформа DATAREON поддерживает возможность описания полной онтологической модели мастер-данных. Платформа DATAREON обеспечивает возможность гибкого создания и изменения модели данных на всем протяжении жизненного цикла объекта мастер-данных. В процессе ежедневной работы часто возникают ситуации, когда нужно быстро добавить, изменить или удалить объект мастер-данных или его атрибут. Платформа DATAREON позволяет это делать быстро, без остановки системы.

• Поддержка мультидоменной структуры данных. Платформа DATAREON поддерживает ведение данных нескольких доменов. Домен данных – это сущность, позволяющая изолировать работу с данными в обособленных группах. Частым примером является домен Клиентов (CDI) и домен Продуктов (PIM).
• Создание и управление взаимосвязями. Взаимосвязи существуют между объектами мастер-данных как внутри одного домена данных, так и между доменами. Например, в системе можно установить несколько типов взаимосвязей между физическими лицами и организациями: физическое лицо может работать в организации, быть клиентом организации, быть поставщиком организации и т.д.

• Управление группировками и иерархиями объектов мастер-данных. Объединение объектов мастер-данных в группы или иерархии используется в платформе DATAREON для решения множества прикладных задач, например, создания иерархии организаций, входящих в холдинг, или группировки товаров по какому-либо признаку и т.п.
• Версионирование и хранение истории изменений. Очень важно хранить историческую информацию не только по самим объектам мастер-данных и атрибутам их моделей, но и по структуре моделей, взаимосвязям с другими объектами, иерархиями, группировками и т.д. Например, для принятия какого-либо решения может быть важна информация о том, что такое-то физическое лицо раньше было сотрудником такой-то организации.

• Ведение таксономий. Для объектов мастер-данных в платформе DATAREON могут быть определены различные таксономии или классификаторы. Например, для материально-технических ресурсов могут быть заданы один или несколько классификаторов: первый группирует элементы с точки зрения покупателя по товарным категориям, а второй – с точки зрения закупщика по поставщикам. От установленной таксономии могут зависеть наборы атрибутов модели того или иного элемента мастер-данных.
• Обеспечение безопасности данных. Платформа DATAREON обладает инструментами по настройке и обеспечению разграничения доступа к данным как на уровне записей, так и на уровне атрибутов.

• Проведение аудита. Система обеспечивает возможность прослеживания истории всех изменений данных и моделей, кем и когда они были совершены.

Одной из основных задач является интеграция и синхронизация информации о мастер-данных между платформой DATAREON и прикладными системами, потребляющими мастер-данные. Мастер-данные должны быть синхронизированы между всеми участниками взаимодействия. В рамках платформы DATAREON эта функция обычно обеспечивается компонентами, отвечающими за взаимодействие.

Для построения механизмов взаимодействия в платформе DATAREON имеются следующие возможности:

• Получение данных или изменений в данных из прикладных систем в синхронном и асинхронном режимах.
• Распределение мастер-данных из платформы DATAREON по прикладным системам в синхронном и асинхронном режимах.
• Передача различного рода событий из платформы DATAREON в прикладные системы. Например, о том, что какие-то данные устарели и с каким-то клиентом компания уже не работает, и информацию о нем нужно удалить или отправить в архив.
• Исправление ошибок синхронизации: отслеживание отправленных, но не полученных данных, повторная отправка, разрешение конфликтов в актуальности переданных данных и т.п.
• Обеспечение взаимодействия в реальном времени для эффективного функционирования сквозных бизнес-процессов. Это особенно важно при операционном методе использования MDM (Operational MDM), когда прикладные системы могут пользоваться сервисами платформы DATAREON в рамках единой бизнес-транзакции.

Построение корпоративных хранилищ данных (EDW)

Функциональные возможности построения корпоративных хранилищ данных (EDW) на платформе DATAREON

Хранилище данных - это стратегическая коллекция, которая обеспечивает все типы поддержки данных для процесса принятия решений на всех уровнях предприятия. Хранилище данных представляет собой предметно-ориентированный, интегрированный, платформо-независимый и изменяющийся во времени сбор данных, используемый для формирования единого аналитического пространства компании. Хранилища данных отличаются от MDM-систем, тем что не нацелены на получение «единой версии правды», а предоставляют механизмы для хранения любой, даже частично дублирующейся информации, в форматах, необходимых конкретным бизнес-заказчикам.

Для формирования хранилищ данных в платформе DATAREON присутствуют следующие механизмы и инструменты:

• Создание модели данных. Платформа DATAREON поддерживает возможность описания полной модели данных. Платформа DATAREON обеспечивает возможность гибкого создания и изменения модели данных на всем протяжении жизненного цикла данных. Платформа позволяет оперативно создавать новые модели и модернизировать существующие.

• Механизмы распределенного хранения данных. Для хранения данных в рамках создаваемых моделей платформа DATAREON предоставляет механизмы распределенного хранения данных. Данные механизмы позволяют выполнять горизонтальное масштабирование физической архитектуры серверов, связанных с хранением данных, абстрагироваться от количества и типа используемых СУБД, использовать различные типы СУБД для различных типов данных. Например, в зависимости от планируемого типа нагрузки - OLAP, OLTP и т.д. Механизмы распределенной структуры хранения позволяют спланировать и осуществить переход существующих данных на другие типы СУБД без прерывания доступа к данным.
• Валидация, стандартизация, очистка и обогащение данных. Для обработки данных в платформе DATAREON могут применяться такие простейшие механизмы как приведение значений к единому формату (например, телефонных номеров), удаление/замена случайных вкраплений символов «другого» алфавита, удаление лишних пробелов замена сокращений и аббревиатур по словарю, исправление явных опечаток и т.д. Также в системе могут использоваться более сложные механизмы на основе бизнес-правил, различные семантические и синтаксические алгоритмы с функцией самообучения и возможность подключения внешних референсных баз данных для стандартизации и обогащения (например, баз данных адресов или юридических лиц). Процессы обработки данных настраиваются в платформе DATAREON параметрически. Процессы обработки могут выполняться как полностью автоматически, так и с привлечением дата-стюардов на каком-либо из этапов.
• API для подключения сторонних систем. Платформа DATAREON позволяет гибко настраивать и предоставлять API доступа к данным для различных систем. При этом системы подписчики просто подписываются на необходимые им типы данных без необходимости знания текущего расположения данных. Платформа DATAREON выступает единой точкой входа как для отправителей, так и для потребителей данных.

• Поддержка различных сценариев получения данных. Платформа DATAREON позволяет реализовывать различные сценарии получения данных системами-подписчиками. Могут быть реализованы сценарии по событию возникновения/изменения данных, получение по расписанию разных типов, получение по запросу от системы подписчика, получение по команде от сторонней системы или сервиса. Такой функционал позволяет различным бизнес-системам информационного ландшафта предприятия получать данные с той актуальностью, которая требуется для реализации их бизнес-моделей и функциональных потоков.

Интеграция приложений (ESB, MQ)

Функциональные возможности платформы DATAREON по интеграции приложений

Интеграция приложений является одним из основных применений платформы DATAREON. Платформа DATAREON обладает всеми необходимыми инструментами для поддержки любых сценариев интеграции приложений от простейшей пакетной выгрузки/загрузки данных до создания полноценного композитного приложения с событийным взаимодействием между компонентами в реальном времени.

Преимуществами платформы DATAREON в рамках интеграции приложений являются:

• Построение интеграционной модели со слабыми связями между системами, участвующими в интеграции. В правильно построенной интеграционной модели система вообще ничего не знает о других участниках интеграционного ландшафта. Вся работа сводится к передаче сообщений в платформу DATAREON и прием сообщений от платформы DATAREON. Этим достигается очень высокий уровень гибкости и масштабируемости относительно способов обмена данными типа «точка-точка».

• Возможности для трансформации данных. Платформа DATAREON позволяет интегрировать приложения, рассчитанные на различные форматы данных, без необходимости их доработок. Это помогает снизить затраты на обработку данных системами (данные отправляются один раз в формате системы-источника и принимаются системами-потребителями в своих «родных» форматах), а также задействовать в интеграции системы, доработка которых невозможна или крайне нежелательна по тем или иным причинам. При этом механизмы трансформации не создают дополнительную нагрузку на интегрируемые системы.

• Маршрутизация данных. Один из важнейших механизмов платформы DATAREON, позволяющий резко снизить зависимость и связанность участников интеграционных процессов. При наличии механизма маршрутизации система-источник может просто однократно передать сообщение в платформу DATAREON. Ей не требуются знания о том, кто должен получить это сообщение, готов ли он к приему сообщения и т.д. Сообщение будет доставлено всем потребителям в соответствии с текущим маршрутом. Соответственно, при масштабировании схемы также не требуется вносить изменения во все системы. Достаточно внести изменения в маршрут, добавив или удалив потребителя данных. Это также позволяет выполнять доставку сообщений согласно определенным условиям. Причем сами системы не участвуют в определении условий прохождения маршрута, а значит это поведение может быть легко модифицировано без необходимости вносить изменения в системы.

• Гарантированная доставка данных. Этот механизм платформы DATAREON существенно упрощает схемы доставки данных на каналах с низкой стабильностью, снимая нагрузку с систем-источников. Им не приходится реализовывать механизмы для проверки наличия канала связи и промежуточные хранилища для сообщений на время отсутствия канала доставки. Также этот механизм позволяет снизить алгоритмическую нагрузку по реализации механизма квитирования доставки. Этот функционал реализован на уровне интеграционных механизмов платформы DATAREON.

• Управление передаваемыми данными. В процессе передачи данных важно осуществлять контроль за структурой передаваемых данных, контролировать правильность ее заполнения, уметь выполнять обогащение передаваемых данных и осуществлять промежуточное хранение. Важно, чтобы процессы управления и контроля корректности передаваемых данных выполнялись централизовано и не нагружали системы, участвующие в интеграционном ландшафте.

• Обеспечение безопасности при передаче данных. Во многих случаях утечка конфиденциальных данных происходит именно при их передаче. Платформа DATAREON обеспечивает шифрование передаваемых данных, а также поддерживают защищенные сетевые соединения.

• Централизованное управление интеграционной схемой является важным компонентом любого интеграционного ландшафта. Такой подход сильно снижает накладные расходы на первичную настройку, масштабирование и поддержание работоспособности схемы в целом. Также это позволяет сконцентрировать необходимые компетенции в одном месте, не распыляя их по интегрируемым системам.

• Диагностика состояния. Важной особенностью использования платформы DATAREON являются механизмы диагностики. Использование этих механизмов позволяет выявить проблемы, связанные как с передачей данных, так и с состоянием систем, участвующих в интеграции. Наиболее продвинутые системы предоставляют средства проактивной диагностики. Этот вид диагностики позволяет выявлять потенциальные проблемы на начальных этапах до того, как проблема проявит себя в полную силу, и своевременно осуществлять комплекс упреждающих воздействий.

Управление качеством данных (DQ, ETL)

Функциональные возможности управления качеством данных (DQ, ETL) на платформе DATAREON

Некачественные данные сводят на «нет» весь эффект от централизации данных и их централизованного управления.

Для управления качеством данных в платформе DATAREON присутствуют следующие механизмы и инструменты:

• Извлечение и загрузка данных. В платформе DATAREON присутствуют механизмы по извлечению и загрузке данных из/в сторонних источников. Извлечение «сырых» данных может вестись из множества источников в различных форматах с приведением к единому стандарту. Загрузка данных после обработки в конечные системы может выполняться параллельно с разделением данных по сценариям.

• Анализ и профилирование данных. Прежде чем приступать к каким-либо манипуляциям с данными, необходимо эти данные изучить. Механизмы анализа и профилирования данных в платформе DATAREON позволяют грубо оценить качество данных, выявить ошибки в данных, выстроить стратегию их обработки.
• Валидация, стандартизация, очистка и обогащение данных. Для обработки данных в платформе DATAREON могут применяться такие простейшие механизмы как приведение значений к единому формату (например, телефонных номеров), удаление/замена случайных вкраплений символов «другого» алфавита, удаление лишних пробелов, замена сокращений и аббревиатур по словарю, исправление явных опечаток и т.д. Также в системе могут использоваться более сложные механизмы на основе бизнес-правил, различные семантические и синтаксические алгоритмы с функцией самообучения и возможность подключения внешних референсных баз данных для стандартизации и обогащения (например, баз данных адресов или юридических лиц). Процессы обработки данных настраиваются в платформе DATAREON параметрически. Процессы обработки могут выполняться как полностью автоматически, так и с привлечением дата-стюардов на каком-либо из этапов.
• Выявление дублирующихся сущностей мастер-данных. Одна из ключевых возможностей платформы DATAREON. В системе присутствуют механизмы дедупликации на основании четких бизнес-правил для структурированных данных (часто используются в домене Клиентов) и различные сложные семантические механизмы с возможностью самообучения для слабоструктурированных и неструктурированных данных (часто используются в домене Номенклатуры).

• Работа дата-стюардов (экспертов), занимающиеся полуавтоматической или ручной обработкой данных. В платформе DATAREON предусмотрены удобные пользовательские интерфейсы для проведения различных ручных манипуляций с данными или их согласования, которые невозможно выполнить автоматически. К таким действиям могут относиться: редактирование атрибутов, неподдающихся автоматической обработке, слияние дублирующихся элементов и выбор «выживающего» элемента или атрибута, согласование тех или иных операций с данными и т.д. Кроме этого в системе существует специальный API, который позволят построить такой пользовательский интерфейс внутри какого-либо бизнес-приложения, если так будет удобнее с точки зрения работы пользователей организации.
• Бизнес-процессы ведения мастер-данных. Платформа DATAREON позволяет настраивать произвольные бизнес-процессы для автоматизации процессов ведения мастер-данных в случаях, когда требуется как простое последовательное, так и сложное параллельное взаимодействие между различными группами пользователей или систем в процессе той или иной операции. Такое взаимодействие обычно имеет сложную «ветвящуюся» структуру, состоящую из различных автоматических и ручных задач. Наиболее сложные процессы ведения мастер-данных обычно присутствуют в домене номенклатуры. Например, при создании новой номенклатурной позиции, когда существуют несколько ответственных за ввод различных данных, много ручной работы и согласований.

• Оценка изменения качества данных с течением времени. Платформа DATAREON позволяет рассчитывать KPI по качеству данных и отслеживать их состояние во времени. На основе этих показателей можно строить политику мотивации подразделения НСИ в компаниях.

Функциональные возможности корпоративной сервисной шины данных Datareon ESB

Корпоративная сервисная шина данных DATAREON ESB (Enterprise Service Bus) предназначена для построения распределённого информационного ландшафта предприятия. Программный продукт обеспечивает взаимодействие всех интегрируемых приложений в одном центре, объединяя существующие источники информации и предоставляя централизованный обмен данными между разными информационными системами.

Корпоративная сервисная шина данных DATAREON ESB является эффективным средством обеспечения стабильности и полноты информационного обмена, повышения общей производительности информационной системы и сокращения трудозатрат на ее администрирование.

Программный продукт DATAREON ESB официально включен в единый реестр российских программ для электронных вычислительных машин и баз данных, которые могут закупаться государственными и муниципальными учреждениями.

Для интеграции 2-3 информационных систем в небольших компаниях DATAREON предлагает программный продукт, созданный на базе DATAREON ESB — DATAREON MQ.

Интеграционная шина данных DATAREON ESB предназначена для построения композитных приложений, использующих различные стандарты и технологии взаимодействия, построенные по разным принципам. Особое внимание уделено интеграции приложений на платформе «1С:Предприятие».

Поддержка различных стандартов и сценариев интеграции с помощью интеграционной шины данных

Довольно часто при построении композитных приложений приходится сталкиваться с ситуацией, когда различные типы приложений рассчитаны на различные стандарты и схемы интеграции. Также не редка ситуация, когда изменение интеграционных механизмов существующих приложений невозможно или трудоемко по ряду причин: отсутствие разработчика, отсутствие исходного кода и т.д. Интеграционная шина DATAREON ESB позволяет объединять такие приложения в единое целое, скрывая различия в интеграции на уровне механизмов и настроек типовых коннекторов, что приводит взаимодействие приложений к единой управляемой схеме интеграции.

В DATAREON ESB существуют следующие типы коннекторов:

• Коннектор SOAP-сервисов
• Коннектор REST-сервисов
• Коннектор MS SQL
• Коннектор IBM DB2
• Коннектор Oracle
• Коннектор PostgreSQL
• Коннектор SharePoint
• Коннектор OData 1C
• Коннектор TCP
• Коннектор Siemens Teamcenter
• Коннектор SAP
• Коннектор File
• Коннектор PicktoLight
• Коннектор SFTP
• Коннектор Biometry
• Коннектор Kardex
• Коннектор 1С 7.7
• Коннектор 1С 8.х
• Коннектор Active Directory
• Коннектор ADO.NET
• Коннектор RabbitMQ
• Коннектор Apache Active MQ
• Коннектор IBM MQ
• Коннектор SMTP
• Коннектор IMAP
• Коннектор ЛОЦМАН PLM

Все коннекторы имеют возможности параметрической настройки подключения к системе-источнику и взаимодействию с ней.

Список доступных коннекторов постоянно расширяется, полный перечень необходимо уточнять в компании DATAREON.

В составе DATAREON ESB присутствует механизм, позволяющий самостоятельно разрабатывать различные коннекторы на языке Java или языках платформы .Net. Таким образом может быть реализован любой пользовательский сценарий подключения к системам-источникам.

Взаимодействие с продуктами на платформе «1С:Предприятие 8»

Особое внимание DATAREON ESB уделяет программным продуктам, реализованным на платформе «1С:Предприятие 8». В поставку включена специальная подсистема, написанная на языке V8, которая встраивается в любую систему на платформе «1С:Предприятие» и обеспечивает все необходимые механизмы для интеграции решения с DATAREON ESB. DATAREON ESB предоставляет возможность централизованного автоматического встраивания и обновления данной подсистемы в конфигурации 1С без необходимости снятия их с поддержки.

Правила обработки данных для конфигураций на платформе «1С:Предприятие 8» создаются и хранятся централизовано в DATAREON ESB. Распространение и обновление обработчиков в системах на платформе «1С:Предприятие 8» также выполняется централизованно в автоматическом режиме без необходимости модификации самой конечной системы. Отсутствие необходимости модификации конечной системы при изменении схемы обмена является особенно важным, если таких систем много или если предъявляются высокие требования к времени доступности системы, которые значительно ограничивают временной промежуток, в который изменения могут быть внесены.

Реализованы удобные мастера, которые позволяют создавать обработчики для 1С:

В DATAREON ESB реализованы механизмы отладки обработчиков 1С без использования конфигуратора 1С. Отладка кода 1С выполняется непосредственно из центра управления DATAREON ESB.

Данный механизм позволяет проверить, каким образом будут выгружены или загружены данные в 1С без их сохранения в 1С и без прямого доступа к системе.

Все реализованные интеграционные сценарии учитывают особенности лицензионной политики фирмы «1С», в частности те, которые запрещают прямой доступ к данным системы на платформе 1С через СУБД.

Централизованное управление

Для выполнения задач централизованного управления интеграционным ландшафтом DATAREON ESB использует экосистему Eclipse. Использование Eclipse предоставляет пользователю широчайшие возможности по расширению доступного функционала DATAREON ESB. Центр Управления предоставляет мощные и удобные инструменты проектирования потоков данных, разработки алгоритмов трансформации, развитые средства администрирования и контроля.

Центр управления DATAREON ESB может быть интегрирован со средой разработки 1C:Enterprise Development Tools, также построенной на платформе Eclipse, что делает работу в DATAREON ESB еще более удобной для разработчиков на платформе «1С:Предприятие 8».

В DATAREON ESB присутствует множество визуальных инструментов настройки. Например, мастер настройки и управления информационными потоками:

Трансформация данных

Одной из проблем построения композитных приложений является различие интеграционных форматов и протоколов приложений, входящих в периметр интеграции. При этом довольно часты случаи, когда изменение форматов и протоколов невозможно из-за закрытости системы или отсутствия поддержки со стороны компании-разработчика. DATAREON ESB имеет в своем составе инструменты, позволяющие эффективно решать данную проблему. Эти инструменты предоставляют возможность настраивать правила трансформации в различные форматы с различными алгоритмами преобразования данных. Механизмы трансформации позволяют строить многошаговые алгоритмы преобразования данных с контролем различных условий, вплоть до написания кода на языках высокого уровня. Визуальные средства разработки снижают требования к специалистам, отвечающим за создание схем трансформации. Самые «ходовые» форматы – XML, JSON, DBF, CSV, Base64 – представлены в виде «мастеров» настройки. Возможно построение алгоритмов с обогащением данных (когда для определенных потребителей исходный пакет расширяется другими данными).

Масштабируемость интеграционной шины

С помощью интеграционной шины DATAREON ESB можно организовать передачу данных любого размера. Поддерживаются возможности вертикального и горизонтального масштабирования. Развитые механизмы диагностирования состояния оборудования и балансировки нагрузки позволяют получить максимальную отдачу от имеющегося серверного и сетевого оборудования. Использование DATAREON ESB дает возможность плавно наращивать мощности в соответствии с планами развития ИТ-ландшафта компании. При этом архитектура сети может строиться из решений различного типа под управлением различных операционных систем (построение гетерогенного ландшафта). На уровне серверов передачи данных DATAREON ESB возможно реализовать секционирование информационных доменов с выделением изолированных кустов.

При передаче данных большого объема данные разбиваются на небольшие части и дальнейшая обработка данных выполняется не с целым объектом, а с его частями. Это позволяет в случае сбоя при передаче данных или разрыва соединения не выполнять повторную обработку или передачу уже переданных частей сообщения, сократить общее время передачи всего объема и использовать слабые каналы связи для передачи данных.

Также в DATAREON ESB используется технология разделения хранилища данных на хранилище заголовков сообщения и хранилище тела сообщения, которая позволяет выполнять обработку больших сообщений без дополнительных расходов на обработку тела сообщения.

Единое хранилище данных для всех компонентов DATAREON ESB позволяет снизить издержки на передачу сообщений между узлами сети, находящимися на одном сервере.

Архитектура DATAREON ESB построена на компонентной модели со слабыми связями, что позволяет легко выполнять горизонтальное масштабирование сети передачи данных. Все компоненты работают в среде с активным мониторингом их состояния и отдельным механизмом, реализующим управление в сценариях отказа или потери управляемости любым компонентом системы. Реализована реактивная модель управления в рамках физического узла сети.

Использование DATAREON ESB позволяет выйти на новый уровень интеграции и получить высокую скорость обмена информацией. В отличие от традиционных схем интеграции, когда производится накопление информации, DATAREON ESB позволяет построить интеграцию на базе событийной модели с передачей небольших информационных пакетов. Такой подход резко снижает требования к пропускной способности каналов связи, повышает скорость доставки и последующей обработки информации. Использование событийной модели позволяет строить композитные приложения с высокой доступностью и оперативной реакцией внутри распределенных бизнес-процессов. При этом DATAREON ESB позволяет централизовать разработку и управление потоками данных в рамках различных процессов, предоставляет единую точку администрирования потоков данных.

Безопасность и ролевая модель

Обеспечение безопасности при передаче данных традиционно недооценивается, а ведь в большинстве случаев утечки конфиденциальных данных происходят именно при их передаче.

Для обеспечения безопасности данных в DATAREON ESB поддерживается шифрование передаваемых данных с помощью алгоритмов шифрования AES, RC2 или TripleDES. Также поддерживается установка безопасного сетевого соединения по протоколу SSL или TLS.

Несмотря на то, что управление и настройка передачи данных для всей сети выполняется из единого инструмента управления, ответственность за работоспособность различных компонент может разделяться между пользователями. Разграничение прав доступа выполняется посредством ролевой модели. Уровень доступа пользователей может быть настроен в разрезе каждого объекта DATAREON ESB. Это позволяет разделять группы пользователей по зонам ответственности и ограничивать доступ к объектам DATAREON ESB согласно полномочиям.

Проактивная диагностика и мониторинг

DATAREON ESB обладает широкими возможностями для диагностики и мониторинга состояния как всей сети передачи данных, так и каждого компонента DATAREON ESB в отдельности.

В центре диагностики представлена полная схема компонентов DATAREON ESB, их взаимосвязи, текущий статус и детальная информация по каждому компоненту (состояние точек подключения, статистика и состояние очередей передачи данных, журнал трассировки информационных пакетов, журнал работы узла).

Центр диагностики сигнализирует не только об ошибках, но и потенциальных проблемах в схеме сети до появления самих ошибок, а также дает рекомендации по их устранению.

Для более глубокого анализа в центре диагностики доступна работа со счетчиками производительности системы за определенный период времени. Данные могут быть экспортированы в MS Excel.

Предусмотрены механизмы рассылки уведомлений для оповещения системных администраторов об ошибках системы. В DATAREON ESB также имеются мощные инструменты для отладки сценариев передачи данных, включающие:

• процедуры трансформации сообщений;
• логические правила маршрутов доставки;
• статистику прохождения информационных пакетов и их состояние на каждом узле.

Диагностическая информация представляется в виде следующей диаграммы:

Для детального разбора инцидентов, возникающих в процессе передачи данных, в DATAREON ESB предусмотрены механизмы трассировки. Специальный трассировочный журнал можно включить в том или ином компоненте DATAREON ESB; в журнале собирается большое количество данных, в том числе содержимое информационного пакета.

Еще один компонент - сервер хранения сообщений. Он предназначен для хранения всей информации, прошедшей через DATAREON ESB, а также позволяет выполнять сквозной анализ передачи данных между системами: от события возникновения данных до конечных точек получения данных с анализом маршрута прохождения.

Пример построения сети объектов ESB:

2018

Назначение продукта «Datareon: Нормализация нормативно-справочной информации»

По данным на апрель 2018 года продукт «Datareon: Нормализация нормативно-справочной информации» предназначен для оперативной нормализации и классификации наиболее объемных справочников нормативно-справочной информации (НСИ) — «МТР» и «Услуги».

Использование «Datareon: Нормализация нормативно-справочной информации» открывает широкие возможности в области интеллектуальной обработки «сырой» неструктурированной нормативно-справочной информации, что позволяет ускорять выполнение рутинных ручных операций. В процессе обработки первоначальная информация автоматически «разбирается» и структурируется в соответствии с созданными правилами. Одновременно выполняется множественная классификация элемента.

Ключевая особенность «Datareon: Нормализация нормативно-справочной информации» заключается в его способности к самообучению: правила разбора, структурирования и классификации данных создаются и корректируются самим решением в процессе работы. Таким образом, при обработке каждой следующей позиции справочника «Datareon: Нормализация нормативно-справочной информации» предлагает более качественный результат, сокращая тем самым трудозатраты специалиста, выполняющего обработку, утверждают в компании Datareon. При некоторых условиях выполнять обработку можно полностью автоматически.

Схема применения решения также предусматривает создание и/или корректировку необходимых классификаторов.

Выработаны и специальные подходы к нормализации информации в справочнике «Контрагенты»: появилась возможность в автоматическом режиме обновлять данные, содержащиеся в справочнике клиента, из актуальных и легитимных источников (ЕГРЮЛ и ЕГРИП), что уменьшает влияние человеческого фактора.

Назначение и функциональные возможности Datareon MQ

По информации на апрель 2018 года Datareon MQ (сервис очередей сообщений, прежнее название — Axelot Datareon MQ) представляет собой готовый к использованию программный продукт класса message queueing service (MQS), предназначенный для быстрой интеграции небольшого количества информационных систем на основе обмена сообщениями. Решение создано на базе Datareon ESB.

По сравнению с системой Datareon ESB, предназначенной для создания полноценной отказоустойчивой интеграционной инфраструктуры уровня предприятия, программный продукт Datareon MQ позволяет решать более локальные задачи по обмену данными между двумя-тремя информационными системами.

Если перед интеграцией не стоит сложных и масштабных задач, если интегрировать необходимо только две-три системы/сервиса, продукты уровня ESB могут оказаться чрезмерным решением с точки зрения функционала — возможности ESB будут в разы превышать потребности компании. В такой ситуации в компании Datareon рекомендуют делать выбор в пользу Datareon MQ.

Функциональные возможности

• Централизованный обмен данными с использованием экосистемы Eclipse;
• Подключение к различным системам с помощью коннекторов с возможностью реализовать любой сценарий подключения;
• Трансформация данных в процессе их передачи в вид, удобный для системы-приемника;
• Простая интеграция с решениями на платформе «1С:Предприятие 8»;
• Обеспечение безопасности обмена;
• Мониторинг обмена сообщениями с целью информирования об ошибках и предупреждения их возникновения.

Ниже представлены отличия продуктов Datareon MQ и Datareon ESB:

Возможности	MQ	ESB
Максимальное количество подключаемых систем	3	Не ограничено
Доступные типы коннекторов	Без ограничений	Без ограничений
Возможность разработки кастом-коннекторов	+	+
Механизмы взаимодействия с «1С:Предприятие 8»	+	+
Механизмы трансформации	+	+
Диагностика состояния	+	+
Настройка маршрутов передачи данных	-	+
Создание отказоустойчивого кластера	-	+
Трассировка пакетов	-	+
Мониторинг счетчиков производительности	-	+
Механизм автообновления	-	+
Сервер хранения служебной информации	-	+
Возможность работы в распределенных сетях	-	+
Возможность выполнения алгоритма трансформации на сервере передачи данных	-	+
Сквозное отслеживание прохождения пакета для систем на платформе «1С:Предприятие»	-	+

Примечания